Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
视力范围有限的自动驾驶机器人在避免多边形障碍的2D环境中找到了目标的途径。在发现环境图的过程中，机器人必须返回以前标记的某些位置，机器人遍历要返回的区域被定义为线段束的束序列。本文提出了一种新型算法，用于根据多次拍摄的方法找到沿线段束序列的大约最短路径。提出了该方法的三个因素，包括捆绑分区，共线条件和射击点的更新。然后，我们证明，如果共线条件成立，则确定问题的最短路径，否则，通过将方法的更新收敛到最短路径，获得的路径序列。该算法在Python中实现，一些数值示例表明，使用我们的方法的自主机器人的路径计划的运行时间比使用Li和Klette在Euclidean最短路径中使用Li和Klette的橡皮筋技术更快，Springer，53-89（2011年）（2011年） ）。
translated by 谷歌翻译
We propose a new causal inference framework to learn causal effects from multiple, decentralized data sources in a federated setting. We introduce an adaptive transfer algorithm that learns the similarities among the data sources by utilizing Random Fourier Features to disentangle the loss function into multiple components, each of which is associated with a data source. The data sources may have different distributions; the causal effects are independently and systematically incorporated. The proposed method estimates the similarities among the sources through transfer coefficients, and hence requiring no prior information about the similarity measures. The heterogeneous causal effects can be estimated with no sharing of the raw training data among the sources, thus minimizing the risk of privacy leak. We also provide minimax lower bounds to assess the quality of the parameters learned from the disparate sources. The proposed method is empirically shown to outperform the baselines on decentralized data sources with dissimilar distributions.
translated by 谷歌翻译
实验数据的获取成本很高，这使得很难校准复杂模型。对于许多型号而言，鉴于有限的实验预算，可以产生最佳校准的实验设计并不明显。本文介绍了用于设计实验的深钢筋学习（RL）算法，该算法通过Kalman Filter（KF）获得的Kullback-Leibler（KL）差异测量的信息增益最大化。这种组合实现了传统方法太昂贵的快速在线实验的实验设计。我们将实验的可能配置作为决策树和马尔可夫决策过程（MDP），其中每个增量步骤都有有限的操作选择。一旦采取了动作，就会使用各种测量来更新实验状态。该新数据导致KF对参数进行贝叶斯更新，该参数用于增强状态表示。与NASH-SUTCLIFFE效率（NSE）指数相反，该指数需要额外的抽样来检验前进预测的假设，KF可以通过直接估计通过其他操作获得的新数据值来降低实验的成本。在这项工作中，我们的应用集中在材料的机械测试上。使用复杂的历史依赖模型的数值实验用于验证RL设计实验的性能并基准测试实现。
translated by 谷歌翻译
为了提倡研究基于深度学习的机器故障检测系统的研究，我们根据微小的声音数据集对拟议系统进行了案例研究。我们的案例研究调查了一个变异自动编码器（VAE），用于增强Valmet AB的小型钻头数据集。一个气门数据集包含134种声音，分为两类：从Valmet AB的一台钻机中记录的“异常”和“正常”，这是瑞典Sundsvall的一家公司，该公司为生物燃料的生产提供设备和流程。使用深度学习模型来检测如此小的声音数据集上的故障钻头通常没有成功。我们采用了VAE来通过合成原始声音的新声音来增加微小数据集中的声音数量。增强数据集是通过将这些合成的声音与原始声音相结合来创建的。我们使用了一个高通滤波器，其通带频率为1000 Hz和一个具有22 \ kern的Passband频率的低通滤波器0.16667EM000 Hz，以在增强数据集中的预处理声音中，然后将其转换为MEL频谱图。然后使用这些MEL频谱图对预训练的2D-CNN ALEXNET进行训练。与使用原始的小声音数据集进行训练预先训练的Alexnet时，使用增强声音数据集将CNN模型的分类结果提高了6.62 \％（94.12 \％（在增强数据集对87.5 \％训练的原始训练时，接受了87.5 \％）数据集）。
translated by 谷歌翻译
Denoising是从声音信号中消除噪音的过程，同时提高声音信号的质量和充分性。 Denoising Sound在语音处理，声音事件分类和机器故障检测系统中有许多应用。本文介绍了一种创建自动编码器来映射噪声机器声音以清洁声音的方法。声音中有几种类型的噪声，例如，环境噪声和信号处理方法产生的频率依赖性噪声。环境活动产生的噪音是环境噪声。在工厂中，可以通过车辆，钻探，人员在调查区，风和流水中进行交谈来产生环境噪音。这些噪音在声音记录中显示为尖峰。在本文的范围内，我们证明了以高斯分布和环境噪声的消除，并以感应电动机的水龙头水龙头噪声为特定示例。对所提出的方法进行了训练和验证，并在49个正常功能声音和197个水平错位故障声音（Mafaulda）中进行了验证。均方根误差（MSE）用作评估标准，用于评估使用拟议的自动编码器和测试集中的原始声音在deno的声音之间的相似性。当Denoise在正常函数类别的15个测试声音上两种类型的噪声时，MSE低于或等于0.14。当在水平错位故障类别上降低60个测试声音时，MSE低于或等于0.15。低MSE表明，生成的高斯噪声和环境噪声几乎都通过拟议的训练有素的自动编码器从原始声音中删除。
translated by 谷歌翻译
在本文中，我们表明，不断学习新任务和记住先前任务的过程引入了未知的隐私风险和挑战以限制隐私损失。基于此，我们介绍了终身DP的正式定义，其中任何数据元组在任何任务的训练集中都受到保护，在始终界限的DP保护下，鉴于越来越多的任务流。始终如一的DP意味着只有一个固定值的DP隐私预算，而不管任务的数量多少。为了保留终身DP，我们提出了一种可扩展和异质的算法，称为L2DP-ML和流批培训，以有效地训练并继续释放L2M型号的新版本，鉴于数据大小和任务训练顺序， ，不影响DP保护私人培训集。端到端的理论分析和彻底的评估表明，我们的机制明显好于保存终身DP的基线方法。 L2DP-ML的实现可在以下网址获得：https：//github.com/haiphannjit/privatedeeplearning。
translated by 谷歌翻译
在社交媒体上传播谣言对社会构成了重要威胁，因此最近提出了各种谣言检测技术。然而，现有的工作重点是\ emph {what}实体构成谣言，但几乎没有支持理解\ emph {为什么}实体已被归类为这样。这样可以防止对检测的谣言以及对策设计的有效评估。在这项工作中，我们认为，可以通过过去检测到的相关谣言的例子来给出检测到的谣言的解释。一系列类似的谣言有助于用户概括，即了解控制谣言的探测的特性。由于通常使用特征声明的图表对社交媒体的谣言传播通常是建模的，因此我们提出了一种逐个示例的方法，鉴于谣言图，它从过去的谣言中提取了$ k $最相似和最多的子图。挑战是所有计算都需要快速评估图之间的相似性。为了在流式设置中实现该方法的有效和适应性实现，我们提出了一种新颖的图表学习技术，并报告了实施注意事项。我们的评估实验表明，我们的方法在为各种谣言传播行为提供有意义的解释方面优于基线技术。
translated by 谷歌翻译
识别息肉对于在计算机辅助临床支持系统中自动分析内窥镜图像的自动分析具有挑战性。已经提出了基于卷积网络（CNN），变压器及其组合的模型，以分割息肉以有希望的结果。但是，这些方法在模拟息肉的局部外观方面存在局限性，或者在解码过程中缺乏用于空间依赖性的多层次特征。本文提出了一个新颖的网络，即结肠形式，以解决这些局限性。 Colonformer是一种编码器架构，能够在编码器和解码器分支上对远程语义信息进行建模。编码器是一种基于变压器的轻量级体系结构，用于在多尺度上建模全局语义关系。解码器是一种层次结构结构，旨在学习多层功能以丰富特征表示。此外，添加了一个新的Skip连接技术，以完善整体地图中的息肉对象的边界以进行精确分割。已经在五个流行的基准数据集上进行了广泛的实验，以进行息肉分割，包括Kvasir，CVC-Clinic DB，CVC-ColondB，CVC-T和Etis-Larib。实验结果表明，我们的结肠构造者在所有基准数据集上的表现优于其他最先进的方法。
translated by 谷歌翻译
本文介绍了FLSYS的设计，实施和评估，一种支持移动应用的深度学习模型的移动云联合学习（FL）系统。 Flsys是创建使用这些模型的FL模型和应用程序开放生态系统的关键组件。 FLSYS旨在使用在智能手机上收集的移动感应数据，平衡模型性能，在手机上使用资源消耗，容忍手机通信故障，并在云中实现可扩展性。在FLSYS中，可以通过不同的应用程序培训云中具有不同流量的不同DL模型，并通过不同的应用程序同时访问和访问。此外，Flsys为第三方应用程序开发人员提供了培训FL模型的共同API。 flsys是在Android和AWS云中实现的。我们在野生FL模型中与人类活动识别（HAR）共同设计了FLSYS。在五个月的时间内，在100+大学生手机的两个地区收集了掌握数据。我们实施了Har-Wild，一种针对移动设备定制的CNN模型，具有数据增强机制，以减轻非独立和相同分布的（非IID）数据的问题，这些数据影响野外的流动模型训练。情绪分析（SA）模型用于演示FLSYS如何有效地支持并发模型，并且它使用446个用户的DataSet具有46,000多个推文。我们对Android手机和仿真器进行了广泛的实验，表明Flsys实现了良好的模型实用性和实际系统性能。
translated by 谷歌翻译